Ông sinh ngày 5 tháng 6 năm 1880 tại làng Tân Phú Đông, hạt Sa Đéc, về sau đổi thành tỉnh Sa Đéc (nay thuộc xã Tân Phú Đông, thành phố Sa Đéc, tỉnh Đồng Tháp) trong một gia đình nghèo làm nghề thủ công phục vụ cho nông nghiệp nhưng có truyền thống hiếu học.

Thân sinh ông là cụ Lưu Văn Cúng, vốn là một người xuất thân Nho học. Vì vậy, ngay từ nhỏ, ông đã được học chữ Nho. Đến năm lên 10, ông bắt đầu học tiếng Pháp và chữ Quốc ngữ. Vốn có tư chất thông minh lại chăm chỉ, ông nhanh chóng trở thành một học sinh xuất sắc và giành được suất học bổng đặc cách vào học trường Chasseloup-Laubat tại Sài Gòn. Năm 17 tuổi, ông thi đậu tú tài 2 của Pháp với số điểm xuất sắc, do đó nhận được học bổng sang Pháp học tại trường École Centrale de Paris (thời đó gọi là trường Bá Nghệ trung ương Pháp quốc) - nơi đào tạo kỹ sư lớn nhất tại Pháp thời bấy giờ. Năm 1904, ông tốt nghiệp loại ưu bằng Kỹ sư Bá nghệ (Ingénieur des Arts et Manufactures de L’École centrale de Paris), xếp hạng 8/250 sinh viên, trở thành kỹ sư đầu tiên ở Đông Dương là người bản xứ.